Δτ-Bench: Pushing Agents Toward a Moving Capability
Δτ-Bench:在持续演化的工具生态中评测 Agent 适应能力
🧭 Agent 工具生态演化评测与技能管理 ★ 深度解读
Zhejiang University · University College London
构建可执行演化工具生态基准,并提出 STEWARD 联合维护工具与技能以跟上能力前沿
📌 工作参考价值(4 点)
- 把内部工具/API 生态当作“会演化的能力前沿”:记录 skill-tool 依赖,工具下线只标记 inactive、不删除;接口恢复时可快速 reactivate,适合推荐 Agent 频繁调用商品、促销、广告接口的场景。
- 增量技能维护优于全量重建或冻结:从成功轨迹只做局部编辑,维护 token 省 30-40%,且 SR 更高;业务里不要每次接口变更都全量重蒸馏 SOP。
- 执行时动态 provision tools+skills,而不是一开始灌全量工具列表:先按初步计划给一个小工具集,出现能力缺口再检索和检查 schema,能提高 tool precision/F1,降低长上下文分心。
- 监控 Agent 不能只看任务成功,要看相对当前版本最优路径的路径效率 SPE/IDR/DAR:只看成功会掩盖“旧流程仍能跑通但错过更优路径”的退化。